Pada 1hb Januari 1942, tentera Jepun mendarat di Pulau Labuan. Matlamatnya untuk menakluk Borneo Utara dicapai dengan pantas. Pada 16hb Mei 1942, secara keseluruhannya negeri ini jatuh ke tangan Jepun. Di bawah pentadbiran Jepun, ia dibahagikan kepada dua bahagian; bahagian Persisiran Pantai Barat termasuk pendalaman dan bandar Kudat dinamakan Sheikai Shiu dan bahagian Persisiran Pantai Timur dinamakan Tokai Shiu.

Pendudukan ini ditentang oleh kumpulan-kumpulan guerila. Antara penentangan yang dilakukan adalah Gerila Kinabalu yang diterajui Albert Kwok di Persisiran Pantai Barat dan satu lagi dipimpin Datu Mustapha pada bahagian utara. Akan tetapi, Gerila Kinabalu terhapus dalam kejadian pembunuhan beramai-ramai Kwok dan ahli-ahli sekutunya di Petagas pada tarikh 21hb Januari 1944.

Pembebasan daripada cengkaman Jepun bermula pada 9hb Jun 1945 apabila Divisi Kuasa Imperial Australia ke-9 menyerang kedudukan Jepun di Labuan.

Perang yang berlaku di Borneo Utara tamat dengan penyerahan kalah rasmi oleh Leftenen Jeneral Masao Baba di Pulau Labuan pada 10hb September 1945, Kolonel Elimus di Papar pada 15hb September 1945 dan Majer Akashi di Beaufort pada 17hb September 1945. Ini merupakan hasil pengeboman bersama Pasukan Perikatan (Australia, British, Amerika Syarikat dan New Zealand) yang dalam prosesnya juga memusnahkan bandar-bandar Sandakan, Jesselton dan Labuan.